Phương pháp bình phương tối thiểu tuyến tính có thể được sử dụng để tìm một hàm affine Rn → R khớp nhất với một tập hợp dữ liệu cho trước (xem phương pháp bình phương tối thiểu).

Ví dụ

y = α + β x + γ x 2 + ε {\displaystyle y=\alpha +\beta x+\gamma x^{2}+\varepsilon }

là một mô hình regression tuyến tính, với phần phải là một tổ hợp tuyến tính của các tham số α, β, và γ; hơn nữa, các đánh giá bình phương tối thiểu của các tham số này là tuyến tính trong vector của các giá trị quan sát y.

Chúng ta viết hàm tuyến tính cần tìm như là một ma trận 1-nhân-n xT (do đó x thật ra là 1 vectơ cột, xem thêm biến đổi tuyến tính).

Tập dữ liệu gồm có m (n + 1)-bộ số (x1,..., xn, y). Những giá trị này được viết vào một ma trận m-nhân-n A và một vector b, với mỗi bộ tương ứng với một hàng của A, và y trở thành các phần tử tương ứng trong b.

Sau đó,

Ax ≈ b

cho ta hàm số x cần tìm.